基于语义的Web文本聚类方法研究

【摘要】随着信息技术尤其是互联网技术的发展与成熟，人们可获得的信息越来越多。面对如此海量的信息，一方面是人们对快捷、精准且全面获取信息的需求，而另一方面却是大量信息的冗余与无序。作为信息处理研究领域中最迫切的问题，有效地获得、分析、管理信息已越来越受到研究者们的关注。因此，Web文本聚类成为信息检索领域的重要研究方向之一。目前，基于空间向量模型的传统文本聚类方法由于其文本特征向量高维性、稀疏性等自身特点，这一方向上的研究与创新已经很难再有突破。现有基于语义的文本聚类方法的研究对象多限于传统文本，而缺少对Web中文文本的聚类分析，导致这些聚类方法在应用到Web中文文本时效率不高、效果不好。本文深入分析了中文文本聚类方法的研究现状，在此基础上，针对Web文本更新快，篇幅短，用词不规范等特点，采用基于知网的语义分析来研究Web文本的聚类方法。首先在理解知网的结构的基础上，改进了概念间相似度计算的方法，使之更符合语义的规范。接着通过分析Web文本聚类算法的相关难点，将基于知网的语义相似度计算引入传统空间向量模型，使其维度降低，数据稀疏性降低。改进后的空间向量模型更适用于FuzzyC-Means文本聚类算法。该算法是对K-Means算法的改进，以语义的相似度阈值来控制聚类的迭代次数。基于此算法，设计并实现了微博话题发现系统。该系统可以自动从新浪微博抓取每日更新的微博，然后对微博内容进行聚类，同一聚类簇中的微博将被认为是在讨论同一话题，由此可以实现微博话题发现的功能。文章最后对算法的效果以及系统的功能进行实验分析与对比，结果表明：该算法相较于传统Web文本聚类算法有明显的效果提升，以此算法为基础所设计实现的系统也能较好的达到预期要求。
【作者】陈鑫；
【导师】张玉清；
【作者基本信息】中国地质大学（北京），计算机科学与技术，2014，硕士
【关键词】知网；Fuzzy；C-Means；文本聚类；语义相似度；

【参考文献】
[1]刘泽.基于局部振动的梁类结构动力检测方法研究[D].大连理工大学,防灾减灾工程及防护工程,2004,硕士.
[2]宫平.大围长准循环LDPC码构造方法研究[D].东北大学,通信与信息系统,2011,硕士.
[3]董仁才,李思远,全元,董志南,李春明,郑拴宁,刘昱聪.城市可持续规划中的生态敏感区避让分析——以丽江市为例[J].生态学报,2015,07:.
[4]袁平.X企业人员招聘问题与对策研究[D].黑龙江大学,工商管理,2013,硕士.
[5]李红海.非负半环上线性保持问题的若干研究[D].福州大学,基础数学,2004,硕士.
[6]韩少博.盐助燃烧合成宏量制备超细ZrB_2、TiB_2、WC粉体及其形成机理[D].兰州理工大学,材料加工工程,2013,硕士.
[7]吴洁.从招生制度看优质高等教育资源配置的公平性[D].华中科技大学,高等教育学,2013,硕士.
[8]孙学凯,孙赞东,谢会文,刘立峰,彭涛,王永刚.非稳态地震稀疏反褶积[J].石油地球物理勘探,2015,02:260-266+3.
[9]张平.带柔性电极的引信用微型万向触发开关设计[D].南京理工大学,机械工程,2013,硕士.
[10]毕中臣.蜂窝纸板缓冲机理及其动态缓冲特性研究[D].湖南工业大学,材料学,2012,硕士.
[11]王绍臣.“人力资源能力”建设与组织、人事、劳动管理刍议[J].未来与发展.2003(05)
[12]陈冠雄,谈紫琪,赵元,倪彬彬,朱彦武,陆亚林.面向能源领域的石墨烯研究[J].中国科学:化学,2013,06:704-715.
[13]明小燕.海上风机三脚架基础结构分析[D].大连理工大学,水工结构工程,2013,硕士.
[14]韩军,陶莉,陈高杰,赵初明.步行式挖掘机坡度横向行走稳定性分析[J].农业机械学报.2008(06)
[15]梁修琦.货币政策对上市公司投资行为影响的分析[D].西南大学,政治经济学,2014,硕士.
[16]赵玉娟.PDCA循环在门诊输液中心护理管理中的应用[D].青岛大学,护理学,2013,硕士.
[17]王洁.基于批量分割的虚拟单元内约束资源动态调度问题研究[D].江苏科技大学,管理科学与工程,2014,硕士.
[18]丘国政.近端胃癌3种手术方式的相关比较[D].广西医科大学,肿瘤学（专业学位）,2013,硕士.
[19]吴丽霞.活性染料印花牛仔面料色牢度的控制方法研究[D].东华大学,纺织工程（专业学位）,2014,硕士.
[20]徐曼,安孟长,张楠楠,彭芳,余潇茜.2014世界军民两用技术与产品发展展望[J].军民两用技术与产品,2014,Z1:16-17.
[21]刘全福.新疆高校开展少数民族传统体育项目的现状及其发展策略[D].北京体育大学,2005.
[22]赵倩.汪译陶诗中“传神达意”研究[D].河北师范大学,外国语言学及应用语言学,2013,硕士.
[23]尚金玲.山左诗人李澄中及其诗歌研究[D].山东师范大学,中国古代文学,2013,硕士.
[24]王菁晶.中国房地产价格过快上涨及调控政策效应研究[D].首都经济贸易大学,产业经济学,2013,硕士.
[25]吕文华.量子非定域性及非定域性动力学[D].曲阜师范大学,理论物理,2004,硕士.
[26]赵丽娟.法定存款准备金比率变动对我国上市商业银行流动性调节效应研究[D].山西财经大学,金融学,2013,硕士.
[27]张淑艳.基于系统动力学的大学生网络游戏成瘾影响因素分析[D].太原科技大学,管理科学与工程,2013,硕士.
[28]赵玖玲,李俊山,叶霞.数据仓库应用系统技术研究[J].计算机应用研究,2002,11:32-33+56.
[29]赵淑枝.金修饰、磁场和乙醇对ZnO纳米棒膜O_2气敏性能的增强作用[D].天津理工大学,材料物理与化学,2013,硕士.
[30]何艳琴.石英毛细管微纳流控界面的表征及浓缩效率研究[D].东北大学,分析化学,2010,硕士.
[31]胡浩良.前臂骨间后动脉穿支皮瓣的应用解剖及临床研究[D].浙江大学,外科学,2013,硕士.
[32]王润涵.国际背景下我国农药使用及行业现状分析和发展趋势研究[D].浙江大学,2013.
[33]曲兴锐.基于Android平台的长春市公共交通查询模块的设计和实现[D].吉林大学,软件工程,2012,硕士.
[34]胡一博.压缩模量、对称能参数与超新星数值模拟[D].广西师范大学,理论物理,2013,硕士.
[35]王兆星.水解-AICS工艺处理东北小城镇污水脱氮除磷效能的研究[D].哈尔滨工业大学,环境科学与工程,2013,硕士.
[36]舒英杰.茄子光合生理特性研究[D].甘肃农业大学,果树学,2003,硕士.
[37]杨妮娜.层状双氢氧化物对不饱和烃类材料的阻燃作用研究[D].首都经济贸易大学,安全工程（专业学位）,2014,硕士.
[38]江丽.拖延对职业决策过程的影响[D].华中师范大学,应用心理学,2014,硕士.
[39]帅一.交联聚乙烯电缆接头局部放电在线监测与状态评估系统研究[D].华中科技大学,高电压与绝缘技术,2013,硕士.
[40]张伟.中海外南非锰矿土方施工工程项目管理关键问题及对策研究[D].西南交通大学,工商管理（专业学位）,2013,硕士.
[41]吕超.山西省外来务工人员养老保险问题研究[D].山西财经大学,社会保障,2014,硕士.
[42]王任.鱼类蛋白质的双向电泳比较研究[D].浙江工商大学,食品科学与工程,2012,硕士.
[43]张志清.达尔文主义与苔丝悲剧的社会性[D].湖南师范大学,英语语言文学,2004,硕士.
[44]吴可龙.无线传感器网络数据通信可靠性研究[D].杭州电子科技大学,计算机系统结构,2014,硕士.
[45]王立本.当前高职院校人事管理现状的思考与分析[J].现代营销(学苑版),2014,11:78-79.
[46]刘晨宇.MWCNT/Fe_3O_4/PANI/Au异质结构复合物的制备及吸波性能研究[D].哈尔滨工业大学,化学工程与技术,2013,硕士.
[47]许立江.适用加工欧式实木窗的新型四面木工刨床的研发[D].齐鲁工业大学,机械工程,2013,硕士.
[48]原建芳.付费视频网站的传播困境与思考[D].山东师范大学,传播学,2013,硕士.
[49]徐连波.超精密飞削加工振动特性的研究[D].哈尔滨工业大学,机械工程,2014,硕士.
[50]成亮.湖南省骨盆创伤数据库研制与多中心流行病学研究[D].中南大学,临床医学,2014,博士.